2026.10.03·FDE日报

AI 产品日报 · 2026-10-03

今天的信号集中在「落地验收」一端:红帽的 Jev 决策模型基准测试和 kapa.ai 的企业知识检索基准,都在回答同一个问题——agent 上线后到底怎么判好坏,这正好踩在你的 evals 实证验收方

今日观察

今天的信号集中在「落地验收」一端:红帽的 Jev 决策模型基准测试和 kapa.ai 的企业知识检索基准,都在回答同一个问题——agent 上线后到底怎么判好坏,这正好踩在你的 evals 实证验收方法论上。行业案例方面出现了两个可入卡片库的样板:新闻编辑室用 AI 挖超本地新闻、AWS 用「规则引擎 + 有界 MCP」做租赁合规审查,后者「可证明完备的答案」尤其值得 FDE 借鉴。Meta 层面,harness 即公司」的论断和 Ask HN 里资深工程师对 agent 代码质量的抱怨,共同指向:价值正从模型转移到流程改造与验收标准上。

  • [The Philadelphia Inquirer 的 Scrape] — 费城问询报自建 AI 工具,从市政记录中挖掘被大媒体忽略的超本地新闻线索;新闻编辑室的真实工作流改造(记者不用再人肉扫政府数据),明确行业场景+岗位改造,方法可迁移到任何「从公开数据里挖线索」的行业 🃏卡片候选 — 链接
  • [AWS Adjudicated Query 模式:租赁合规审查] — 用 Amazon Quick 聊天 agent 配「有界 MCP + 确定性规则引擎」,扫数千份租约给出可证明完备、可辩护的合规结论;「agent 负责检索、规则引擎负责判定」的架构让验收标准天然可机器判定,正是 evals 验收和流程先于模型的教科书案例 🃏卡片候选 — 链接
  • [kapa.ai 企业知识检索基准] — 在真实企业「脏乱差」知识库上给 agent 检索能力做基准测试;FDE 做 RAG 部署验收时可参考的现成评测框架——检验的正是「 messy 现实数据」而非玩具集 — 链接
  • [红帽 Jev 决策模型基准] — 实测显示 Jev 类决策模型并未胜过 LLM-as-a-judge 和传统分类器;与你「小模型 judge 做 agent 验收可行」的判断直接相关——judge 选型仍应以 LLM-judge/传统分类器为主 — 链接
  • [The Harness Is the Company] — 论断:每家 SaaS 公司终将变成「包着模型的 harness」;对 FDE 的含义是——交付物从「接入模型」变成「构建验收链路」,harness 工程就是 FDE 的产品化出口 — 链接
  • [Arda] — 帮品牌在 Google 和 AI 搜索(ChatGPT 等引用)中赢得曝光的营销 agent;营销岗工作流改造的垂直 agent 案例,且首次把「AI 搜索引用」做成可运营的指标 — 链接
  • [Google Maps Scraper MCP] — 把本地商户搜索和结构化列表数据通过 MCP 接给任意 agent;FDE 打包行业方案时的现成数据底座——本地商户盘点、竞品调研、销售线索场景可直接拼装 — 链接
  • [Apple 收紧 macOS 完全磁盘访问] — 因 AI agent 带来的新风险收紧 Full Disk Access 权限;意味着 FDE 现场部署本地 agent 时,权限申请将变成显式的交付环节,需提前纳入部署清单 — 链接

值得去读差评/讨论的 3 条